Carter bắt đầu sự nghiệp chính trị của mình bằng cách tham gia ban quản trị của trường học, bệnh viện và thư viện tại thị trấn Plains. Trong thập niên 1960, ông phục vụ hai nhiệm kỳ tại thượng viện tiểu bang Georgia.

Năm 1970, Carter đắc cử thống đốc tiểu bang Georgia. Trong bài diễn văn nhậm chức, Carter gây kinh ngạc trong tiểu bang và thu hút sự chú ý toàn quốc khi tuyên bố rằng thời kỳ phân biệt chủng tộc đã qua rồi, và tinh thần kỳ thị không còn chỗ đứng trong tương lai của tiểu bang Georgia. Ông là viên chức cấp tiểu bang đầu tiên tại khu vực "Cực Nam" (Deep South) công khai bày tỏ quan điểm này. (Chỉ chưa đầy 15 năm trước, một phát biểu tương tự đồng nghĩa với sự kết thúc một sự nghiệp chính trị như trường hợp của thị trưởng Atlanta, Ivan Allen, Jr., người đã ra làm chứng trước Quốc hội ủng hộ Đạo luật Quyền bầu cử), vì vậy chiến thắng của Carter thu hút sự chú ý của công luận vì được xem là một chỉ dấu của sự thay đổi. Sau đó, ông bổ nhiệm nhiều người da đen vào các vị trí công quyền trên khắp tiểu bang, ông còn cho treo ảnh Martin Luther King, Jr. tại Tòa nhà Tiểu bang như là dấu hiệu của sự khởi đầu từ bỏ quá khứ kỳ thị chủng tộc ở miền Nam Hoa Kỳ. Carter đảm nhiệm chức vụ thống đốc tiểu bang Georgia từ năm 1971 đến năm 1975.